OpenAI Realtime 세션 시작 실패 원인 분석

마지막 업데이트 2026-07-29

분석 대상 로그: 6-019e3a4e-3cb5-7921-a41f-f00ff27f1335_0_467785f4-4286-4567-b0d3-93e687024a8c.json

주요 에러 시각: 2026-05-18T09:20:36.242Z

수사 일지 ① — 사건 기록: 전체 로그 흐름

수사 일지 ② — 현장 검증: 관련 코드 경로

세션 시작 흐름은 다음과 같다.

const offer = await pc.createOffer();
await pc.setLocalDescription(offer);

const answer = await createSession(
  offer.sdp,
  activity,
  voice || avatar?.voice || DEFAULT_VOICE,
  user,
  avatar,
  subAvatars,
  realtimeModelVersion?.current,
  signal,
  turnDetectionRef.current.silence_duration_ms,
);

await pc.setRemoteDescription(answer);

answer.sdp는 우리 서버가 생성한 값이 아니라, 우리 서버가 OpenAI Realtime API https://api.openai.com/v1/realtime/calls에 offer SDP를 전달한 뒤 text로 받은 OpenAI 서버의 SDP answer다.

formData.set("sdp", sdp);
formData.set("session", JSON.stringify(sessionConfig));

const res = await fetch("https://api.openai.com/v1/realtime/calls", {
  method: "POST",
  headers: {
    Authorization: `Bearer ${process.env.OPENAI_API_KEY}`,
  },
  body: formData,
});

const answerSdp = await res.text();

수사 일지 ③ — 용의자 심문 1: instruction 문제 가능성

낮음.

instruction 문제가 직접 원인이라면 보통 다음과 같은 흔적이 있어야 한다.

• /api/realtime/call에서 400/500 응답
• Failed to create call 또는 Call creation failed
• OpenAI API 응답 본문에 validation error
• Invalid SDP response

제공된 로그에는 위 흔적이 없다. 또한 instruction 치환 코드는 정규식 기반 문자열 처리이며, 해당 메시지를 직접 생성하는 경로가 확인되지 않았다.

수사 일지 ④ — 용의자 심문 2: setSinkId 로그와의 관계

직접 관련은 낮음.

DOMException: A user gesture is required는 audioEl.setSinkId(audioOutputDeviceId)에서 발생한다. 이 호출은 try/catch로 감싸져 있고 실패해도 경고만 남긴 뒤 세션 시작 흐름은 계속 진행된다.

try {
  await audioEl.setSinkId(audioOutputDeviceId);
} catch (e) {
  console.warn("setSinkId failed:", e);
}

따라서 이 경고는 원하는 출력 장치로 소리가 나지 않을 수 있다는 신호이지, The string did not match the expected pattern. 세션 실패의 직접 원인으로 보기는 어렵다.

수사 일지 ⑤ — 용의자 심문 3: 네트워크 문제 가능성

직접 가능성은 낮고, 간접 가능성은 제한적으로 있음.

일반적인 네트워크 문제라면 보통 다음 에러가 나온다.

• Failed to fetch
• NetworkError
• AbortError
• Session creation timeout after 10s
• ICE connection failed

현재 에러는 이미 받은 문자열을 브라우저가 특정 패턴으로 파싱하다 실패하는 형태다. 다만 프록시/서버 문제로 SDP 응답이 변형되거나 잘못 전달된다면 간접적으로 비슷한 현상이 날 수 있다.

수사 일지 ⑥ — 유력 용의자: 가장 가능성 높은 원인

1. OpenAI Realtime SDP answer와 현재 브라우저 WebRTC 파서의 호환성 문제
   특히 Safari/WebKit 계열이면 SDP 파싱이 더 엄격할 수 있다.
2. SDP 문자열 형식 문제
   줄바꿈, 지원하지 않는 SDP attribute, codec/header extension 등으로 setRemoteDescription()에서 실패했을 수 있다.
3. 응답 객체 검증 부족
   answer.type, answer.sdp, SDP 앞부분/길이를 실패 직전에 기록하지 않아 현재 로그만으로 확정이 어렵다.

검거 준비 — 권장 대처

1. 실패 지점 로그 보강

try {
  await pc.setRemoteDescription(answer);
} catch (error) {
  logger.error("Failed to apply realtime answer", {
    errorName: error instanceof Error ? error.name : undefined,
    errorMessage: error instanceof Error ? error.message : String(error),
    errorStack: error instanceof Error ? error.stack : undefined,
    answerType: answer?.type,
    sdpStartsWithV: answer?.sdp?.startsWith("v="),
    sdpLength: answer?.sdp?.length,
    sdpHead: answer?.sdp?.slice(0, 300),
    activityId: activity.id,
  });
  throw error;
}

2. setRemoteDescription 전 answer 검증

if (
  answer?.type !== "answer" ||
  typeof answer.sdp !== "string" ||
  !answer.sdp.startsWith("v=")
) {
  throw new Error("Invalid realtime answer SDP");
}

3. SDP 줄바꿈 정규화

const normalizedAnswer = {
  type: "answer" as const,
  sdp: answer.sdp.replace(/\r?\n/g, "\r\n"),
};

await pc.setRemoteDescription(normalizedAnswer);

4. 1회 재시도

setRemoteDescription 실패 시 기존 RTCPeerConnection을 닫고, offer 생성부터 OpenAI Realtime call 생성까지 한 번만 재시도한다. 같은 SDP answer를 재사용하지 않는 것이 중요하다.

5. Safari/WebKit 대응

• Safari에서만 재현되는지 user agent와 함께 로깅한다.
• Safari에서 실패 시 Chrome/Edge 사용 안내 또는 fallback UX를 제공한다.
• 브라우저별 SDP 실패율을 모니터링한다.

추가 확인에 필요한 로그

• error.name, error.stack
• answer.type
• answer.sdp.startsWith("v=")
• answer.sdp.length
• answer.sdp.slice(0, 300)
• 브라우저 user agent
• /api/realtime/call 서버 로그의 OpenAI 응답 status와 SDP 길이